Définition d'une chaîne de Markov avec un nombre fini d'états

Définition

On considère un système aléatoire comportant  $n$  états possibles et une suite de variables aléatoires  $(X_k)$ permettant de modéliser l’évolution par étapes successives de ce système aléatoire.

Ainsi, à l’étape  $k$ , les coefficients de la matrice ligne  $X_k$  à  $n$  colonnes sont les probabilités que le système occupe chacun des états possibles.

À l’étape  $k=0$ , la loi de probabilité de  $X_0$  s’appelle la distribution initiale du système.

À l’étape  $k$ , la loi de probabilité de  $X_k$  s’appelle la distribution du système après  $k$  transitions.

Si, à chaque étape, la probabilité de transition d’un état à un autre ne dépend que du dernier état et non de l'ancienneté du processus (le nombre  $k$ ) ou des états antérieurs, on dit que la suite  $(X_k)$  est une chaîne de Markov.

Remarques

La suite  $(X_k)$  est une suite de matrices lignes ; on peut interpréter chacun de ses coefficients comme une suite numérique, ces suites numériques étant liées entre elles. L’utilisation de la suite de matrices lignes apportera à la résolution mathématique du problème une simplification du même type que l’utilisation des matrices avait apporté à la résolution de systèmes linéaires.

On peut associer à une chaîne de Markov :

• un graphe probabiliste où les sommets sont les états du système aléatoire et le poids de chaque arête est égal à la probabilité de transition d’un état à l’autre ;
  
• la matrice de transition de ce graphe probabiliste.